473. Орлов А.И. Эконометрика и ее преподавание на кафедре. – В сб.: 70 лет кафедры "Экономика и организация производства" (1929-1999). Сб. статей под ред. С.Г.Фалько. - М.: Изд-во МГТУ им. Н.Э. Баумана, 1999. - С.67-75.

ЭКОНОМЕТРИКА И ЕЕ ПРЕПОДАВАНИЕ НА КАФЕДРЕ 
"ЭКОНОМИКА И ОРГАНИЗАЦИЯ ПРОИЗВОДСТВА"

Профессор, доктор технических наук А.И.Орлов,
президент Российской ассоциации по статистическим методам

	Кафедра "Экономика и организация производства" факультета "Инженерный бизнес и менеджмент" Московского государственного технического университета им.Н.Э.Баумана ведет работу по расширению преподавания эконометрики [1]. Как общепринято в экономической литературе, под эконометрикой мы понимаем статистический анализ конкретных экономических данных. Ниже мы раскроем примерное содержание эконометрики как учебного предмета.  
	Что дает эконометрика для формирования мышления менеджера? Почему необходимо учить эконометрике в высшей школе, в частности, на кафедре "Экономика и организация производства"? Эти вопросы - центральные для нашего обсуждения. 

1. СОВРЕМЕННЫЕ ЭКОНОМЕТРИЧЕСКИЕ МЕТОДЫ
 - ИНСТРУМЕНТ ИНЖЕНЕРА И МЕНЕДЖЕРА

	Как нетрудно убедиться, статистические (эконометрические) методы используются в отечественных экономических и технико-экономических исследованиях, работах по управлению (менеджменту). Применение прикладной статистики и других статистических методов дает заметный экономический эффект [2], в США - не менее 20 миллиардов долларов ежегодно только в области статистического контроля качества. В 1988 г. затраты на статистический анализ данных оценивались в 2 миллиарда рублей ежегодно [3]. По нашим расчетам сравнительной стоимости валют на основе потребительских паритетов, эту величину можно сопоставить с 2 миллиардами долларов США - в 10 раз меньше, чем в США, как и по другим показателям, например, по числу специалистов. 
	Публикации по различных применениям статистических методов в инженерном деле постоянно появляются, например, в журнале "Заводская лаборатория", в секции "Математические методы исследования". Надо назвать также журналы "Автоматика и телемеханика" (издается Институтом проблем управления Российской академии наук), "Экономика и математические методы".
	Однако необходимо констатировать, что для большинства менеджеров и инженеров они являются экзотикой. Это объясняется тем, что в вузах современным статистическим методам не учат. Каждый специалист в этой области - самоучка. В вузовских программах обычно есть два курса, связанных со статистическими методами. Один из них - "Теория вероятностей и математическая статистика". Этот небольшой курс читают специалисты с математических кафедр и успевают дать лишь общее представление об основных понятиях математической статистики. Кроме того, внимание математиков сосредоточено на внутриматематических проблемах, их больше интересует доказательство теорем, а не применение современных статистических методов в задачах экономики и менеджмента. Другой курс - "Статистика" или "Общая теория статистики", входящий в блок экономических дисциплин. Его читают экономисты, не всегда хорошо подкованные в математике. Фактически он является введением в прикладную статистику и содержит первые начала эконометрических методов начала века. Учебники по "Общей теории статистики" являются неисчерпаемым источником математико-статистических ошибок и публикаций, их разоблачающих (см., например, [4]). Ничего удивительного в этом нет - эти учебники писали и пишут высококвалифицированные экономисты, плохо знающие математику. 
	Эконометрика призвана, опираясь на два названных вводных курса, вооружить экономиста, менеджера, инженера современным эконометрическим инструментарием, разработанным за последние 50-70 лет. Не владея эконометрикой, отечественный специалист - менеджер и инженер - оказывается неконкурентноспособным по сравнению с зарубежным. Во многих странах мира - Японии и США, Франции и Швейцарии, Перу и Ботсване и др. - статистическим методам обучают в средней школе, ЮНЕСКО постоянно проводят конференции по вопросам такого обучения [5] . В СССР и СЭВ, а теперь - по плохой традиции - и в России игнорируют этот предмет в средней школе и лишь слегка затрагивают его в высшей. Результат на рынке труда очевиден - снижение конкурентоспособности специалистов.
	Обсудим сложившуюся ситуацию, уделив основное внимание статистическим методам в экономических и технико-экономических исследованиях, т.е. эконометрике. 
2.  ЭКОНОМЕТРИКА  =  ЭКОНОМИКА +  МЕТРИКА

	Сначала необходимо выяснить, что понимают под эконометрикой. Затем обсудим современное состояние эконометрики как научно-практической  дисциплины.
	В монографиях по экономической теории обычно выделяют в качестве ее разделов макроэкономику, микроэкономику и эконометрику. При этом о макроэкономике и микроэкономике обычно подробно рассказывается в тех же монографиях или в дальнейших учебных пособиях, в то время как об эконометрике узнать что-либо самостоятельно российскому студенту почти невозможно. Лишь в последнее время появились отдельные курсы в нескольких московских  экономических вузах и соответствующие учебники, увы, далекие от совершенства. Ясно, кроме того, что разработки экономических вузов не вполне подходят для технико-экономического факультета "Инженерный бизнес и менеджмент". Что же касается технических вузов, то кафедра "Экономика и организация производства"  Московского государственного технического университета им. Н.Э.Баумана в настоящее время имеет приоритет в масштабе России в преподавании эконометрики.
	В одном из наиболее распространенном в России вводном курсе западной экономической теории сказано: "Статистический  анализ экономических данных называется эконометрикой, что буквально означает: наука об экономических  измерениях" [6, с.25 ]. Действительно, термин "эконометрика" состоит из двух частей: "эконо-" - от "экономика" и "-метрика" - от "измерение".  Эконометрика (в другом русско- и англоязычном варианте названия этой дисциплины - эконометрия) входит в обширное семейство дисциплин, посвященных  измерениям и применению статистических методов в различных областях науки и практики.  К этому семейству относятся, в частности, биометрика (или биометрия), технометрика, наукометрия, психометрика,  хемометрика (наука об  измерениях и применении статистических  методов в химии). Особняком стоит  социометрия -  этот термин закрепился за  статистическим методом  анализа  взаимоотношений  в малых группах,  т.е. за малой частью  такой дисциплины, как статистический анализ в социологии. Эконометрика, как и  другие "метрики",  посвящена  развитию и применению статистических  методов  в конкретной области науки и практики  -  в экономике, прежде всего в теории и практике менеджмента.  
	В  мировой науке  эконометрика  занимает  достойное место. Нобелевские премии по экономике получили эконометрики  Ян Тильберген, Рагнар  Фриш,  Лоуренс Клейн,  Трюгве Хаавельмо. Выпускается ряд научных журналов, полностью посвященных эконометрике, в том числе:
	Journal of Econometrics (Швеция),
	Econometric Reviews (США),
	Econometrica (США),
	Sankhya. Indian Journal of Statistics. Ser.D. Quantitative Economics (Индия),
	Publications Econometriques (Франция). 
	 Однако в нашей стране по ряду причин, о которых скажем ниже (см. также [7]), эконометрика  не была сформирована  как  самостоятельное  направление научной и практической деятельности, в отличие, например, от Польши, которая стараниями О.Ланге и его коллег покрыта сетью эконометрических "институтов" (в российской терминологии - кафедр вузов). В настоящее время в России начинают развертываться эконометрические исследования, в частности, начинается широкое преподавание этой  дисциплины. 
	Рассмотрим в настоящей главе современную палитру эконометрических методов. Это представляется тем более необходимым,  что положение в области  научных и практических работ и особенно  преподавания эконометрики в России является неблагополучным.  Мы  вынуждены  констатировать, что иные профаны, берущиеся за  преподавание эконометрики, выдают за нее отдельные частные  построения. В результате специалисты и студенты-экономисты и будущие менеджеры лишаются знаний о подлинной эконометрике и широте ее возможностей. Для обоснованных суждений о возможностях применения эконометрических методов в экономических и технико-экономических исследованиях необходимо исходить из реальной структуры эконометрики, а не из того искаженного представления, которое дают некоторые недостаточно квалифицированные или односторонние публикации. В процессе создания Всесоюзной статистической ассоциации (1989-1990 гг.) нам пришлось разбираться [7] с вопросами внутренней структуры статистических методов вообще и эконометрики в частности, и полученные тогда выводы легли в основу настоящей главы. 

3. СТРУКТУРА ЭКОНОМЕТРИКИ

	В эконометрике, как дисциплине на стыке экономики (включая менеджмент) и статистического анализа, естественно  выделить три вида  научной и прикладной деятельности (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы): 
	а) разработка и изучение методов прикладной  статистики с учетом  специфики  экономических  данных;
	б) разработка и изучение эконометрических  моделей в соответствии с конкретными потребностями экономической науки и практики;
	в) применение эконометрических методов для статистического анализа  конкретных экономических данных. 
	Кратко рассмотрим три выделенных выше вида научной и прикладной деятельности. По мере движения от а) к в) сужается широта области применения конкретного эконометрического метода, но при этом повышается значение конкретной экономической ситуации. Если виду работ а) соответствуют научные результаты, значимость которых оценивается по общеэконометрическим критериям, то для работ вида  в) основное - успешное решение задач конкретной области экономики. Работы вида б) занимают промежуточное положение, поскольку, с одной стороны, теоретическое изучение эконометрических моделей может быть весьма сложным и математизированным (см., например, [8]), с другой - результаты представляют интерес не для всей экономической науки, а лишь для некоторого направления в ней.
	Прикладная статистика - другая область знаний, чем математическая статистика. Это четко проявляется при преподавании. Курс математической статистики состоит в основном из доказательств теорем, как и соответствующие учебные пособия. В курсах прикладной статистики и эконометрики основное - методология анализа данных и алгоритмы расчетов, а теоремы приводятся как обоснования этих алгоритмов, доказательства же, как правило опускаются (их можно найти в литературе). 	Внутренняя структура статистики как науки обоснована нами ранее [7]. Прикладная статистика - методическая дисциплина, являющаяся центром статистики. При применении к конкретным областям знаний и отраслям народного хозяйства получаем научно-практические дисциплины типа "статистика в промышленности", "статистика в медицине" и др. С этой точки зрения эконометрика - это "статистические методы в экономике". Математическая статистика играет роль математического фундамента для прикладной статистики. К настоящему времени очевидно четко выраженное размежевание этих двух научных направлений. Математическая статистика исходит из сформулированных в 1930-50 гг. постановок математических задач, происхождение которых связано с анализом статистических данных. В настоящее время исследования по математической статистике посвящены обобщению и дальнейшему математическому изучению этих задач. Поток новых математических результатов (теорем) не ослабевает, но новые практические рекомендации по обработке статистических данных при этом не появляются. Можно сказать, что математическая статистика как научное направление замкнулась внутри себя. Сам термин "прикладная статистика", используемый с 1960-х годов, возник как реакция на описанную выше тенденцию. Прикладная статистика нацелена на решение реальных задач. Поэтому в ней возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими методами, т.е. путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль компьютерного эксперимента. 
	Рассматриваемое соотношение математической и прикладной статистик отнюдь не являются исключением. Как правило, математические дисциплины проходят в своем развитии ряд этапов. Вначале в какой-либо прикладной области возникает необходимость в применении математических методов и накапливаются соответствующие эмпирические приемы (для геометрии это - "измерение земли" в Древнем Египте). Затем возникает математическая дисциплина со своей аксиоматикой (для геометрии это - время Евклида). Затем идет внутриматематическое развитие и преподавание (считается, что большинство результатов элементарной геометрии получено учителями гимназий в XIX в.). При этом на запросы исходной прикладной области перестают обращать внимание, и та порождает новые научные дисциплины (сейчас "измерением земли" занимается не геометрия, а геодезия и картография). Затем научный интерес к исходной дисциплине иссякает , но преподавание по традиции продолжается (элементарная геометрия до сих пор изучается в средней школе, хотя трудно понять, в каких практических задачах может понадобиться, например, теорема о том, что высоты треугольника пересекаются в одной точке). Следующий этап - окончательное вытеснение дисциплины из реальной жизни в историю науки (объем преподавания элементарной геометрии в настоящее время постепенно сокращается, ей все меньше уделяется внимания на вступительных экзаменах в вузах). К интеллектуальным дисциплинам, закончившим свой жизненный путь, относится средневековая схоластика. Как отмечает проф. МГУ им. М.В.Ломоносова В.Н. Тутубалин [9], теория вероятностей и математическая статистика успешно двигаются по ее пути - вслед за элементарной геометрией.
	Подведем итог. Хотя статистические данные собираются и анализируются с незапамятных времен (см., например, Книгу Чисел в Ветхом Завете), современная математическая статистика как наука была создана, по нашему мнению, в первой половине ХХ в. Именно тогда были разработаны основные идеи и получены результаты, излагаемые ныне в учебных курсах математической статистики. После чего специалисты по математической статистике занялись внутриматематическими проблемами, а для теоретического обслуживания проблем практического анализа статистических данных стала формироваться новая дисциплина - прикладная статистика [10]. (Ее центральным печатным органом в нашей стране является секция "Математические методы исследования" журнала "Заводская лаборатория", где за последние 30 лет опубликовано более 1000 статей по прикладной статистике.) 
	В настоящее время статистическая обработка данных проводится с помощью соответствующих программных продуктов. Разрыв между математической и прикладной статистикой проявляется, в частности,  в том, что большинство методов, включенных в статистические пакеты программ (например, в заслуженный Statgraphics или в более новую систему Statistica), даже не упоминается в учебниках по математической статистике. В результате специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже - и разрабатывают) лица, не имеющие необходимой теоретической подготовки (кратко - профаны). Естественно, что профаны допускают разнообразные ошибки (напомним, анализ типовых ошибок при применении критериев согласия Колмогорова и омега-квадрат дан в [4]), в том числе в таких ответственных документах, как государственные стандарты по статистическим методам (ниже подробнее рассказано об удручающих результатах анализа этих стандартов; итоги суммированы в статье [11]). 
	Проблемам внедрения современных статистических (эконометрических) методов на предприятиях и в организациях различных отраслей народного хозяйства посвящена обобщающая статья [12]. К сожалению, при развале отечественной промышленности в 1990-е годы больше всего страдали структуры, наиболее нуждающиеся в эконометрических методах - службы качества, надежности, центральные заводские лаборатории и др. Однако толчок к развитию получили службы сбыта (маркетинга) и сертификации, которым также полезны различные эконометрические методы, в частности, методы экспертных оценок. 

4. СПЕЦИФИКА ЭКОНОМИЧЕСКИХ ДАННЫХ

	Для анализа экономических данных могут применяться все разделы прикладной статистики, а именно:
	статистика случайных величин;
	многомерный статистический анализ;
	статистика временных рядов и случайных процессов;
	статистика объектов нечисловой природы, в том числе статистика интервальных данных.
	Перечисленные четыре области выделены на основе математической природы элементов выборки: в первой из них это - числа, во второй - вектора, в третьей - функции, в четвертой - объекты нечисловой природы, т.е. элементы пространств, в которых нет операций сложения и умножения на число. Примерами объектов нечисловой природы являются значения качественных признаков, бинарные отношения (ранжировки, разбиения, толерантности), последовательности из 0 и 1, множества, нечеткие множества, интервалы, тексты.
	Как и для применений статистических методов в иных областях, в эконометрике решаются задачи описания данных (в том числе усреднения), оценивания, проверки гипотез, восстановления зависимостей, классификации объектов и признаков, прогнозирования, принятия решений и др.
	Однако в некоторых отношениях экономические данные отличаются от технических или астрономических, и эти отличия необходимо учитывать при выборе методов анализа конкретных экономических данных.. 
	Многие экономические показатели неотрицательны. Значит, их надо описывать неотрицательными случайными величинами, например, имеющими логарифмически нормальное распределение, распределение Вейбулла-Гнеденко, гамма-распределение или распределение Парето и др. Нормальные распределения принципиально не подходят, поскольку для них вероятность отрицательных значений всегда положительна. 
	Экономические процессы развиваются во времени, поэтому большое место в эконометрике занимают вопросы анализа и прогнозирования временных рядов, в том числе многомерных. При этом в одних задачах больше внимания уделяют изучению трендов (средних значений, математических ожиданий), например, при анализе динамики цен. В других же - важны отклонения от средней тенденции, например, при применении контрольных карт (карт Шухарта, кумулятивных сумм и др.). Однако в целом спектральный анализ и выделение различных периодов, циклов и типов волн менее распространены, чем,  скажем,  в биометрике и медицине.
	В экономике доля нечисловых данных  существенно выше, чем в технике и технологии, соответственно больше применений для статистики объектов нечисловой природы. Мы разберем это утверждение подробнее в следующем разделе статьи.
    	Количество изучаемых объектов в экономическом исследовании часто ограничено в принципе, поэтому обоснование вероятностных моделей в ряде случаев затруднено. Уникальные объекты, например, город Москва, трудно рассматривать как элемент выборки из генеральной совокупности с каким-то определенным распределением, поскольку подобное рассмотрение противоречит здравому смыслу. 
	Вспоминается обложка журнала "Крокодил", на которой изображены два хозяйственника с монетой в руках: "Если упадет орлом, будем строить завод, если решкой - не будем". Подобная рандомизация решений выглядит бессмысленной при принятии ровно одного решения, однако при контроле качества в массовом производстве такой подход оправдан. 
	Поэтому в эконометрике часто применяются детерминированные методы анализа данных, в отличие от, например, технических наук, в которых обычным является использование вероятностных моделей. Неопределенность приходится описывать не в терминах вероятностно-статистических моделей, а в терминах теории нечеткости (fuzzy sets theory), статистики интервальных данных.  
	Есть два принципиально различных подхода к изучению поведения организаций и людей. Согласно первому из них вполне допустимо описывать действия человека в вероятностных терминах, например, считать его ответ на заданный вопрос случайной величиной.  Сторонники второго подхода полагают, что поведение человека или организации является детерминированным, определяется теми или иными причинами, а случайность при анализе выборки  возникает лишь из-за случайности при отборе лиц для опроса или предприятий для изучения. Если ответ на вопрос имеет вид "да"-"нет", то число ответов "да" имеет при первом подходе, как известно, биномиальное распределение, а при втором - гипергеометрическое. К счастью, при увеличении объема генеральной совокупности эти два распределения сближаются (если доля выборки в генеральной совокупности мала, например, меньше 10%), так что при обоих подходах можно применять одни и те же эконометрические методы, не тратя сил на решение философского вопроса о детерминированности или случайности поведения экономического агента- человека или организации.
	Итак, специфика эконометрики проявляется не в перечне применяемых для анализа конкретных экономических данных статистических методов, а в частоте использования тех или иных методов.

5. НЕЧИСЛОВЫЕ ЭКОНОМИЧЕСКИЕ ВЕЛИЧИНЫ

	В теоретических и практических задачах экономики и менеджмента постоянно используются различные величины, обычно рассматриваемые как числовые. Например, рыночная цена товара, прибыль предприятия, индекс инфляции, валовой внутренний продукт, чистая приведенная величина для потока платежей и т.д. При более тщательном анализе (см., например, [13]) оказывается, что подобные величины не имеют определенного численного значения, они размыты, имеют нечисловой характер, и описывать их следует с помощью нечисловых математических понятий, относящихся к тем или иным классам объектов нечисловой природы, таким, как нечеткие множества, интервалы, распределения вероятностей и др.  
	Действительно, можно ли считать, что существует рыночная цена на некоторый товар, выраженная числом? Рассмотрим всем привычный товар - хлеб. Для определенности рассмотрим стандартный батон белого хлеба, который стоил 25 копеек в 1990 г. В настоящее время ( апрель 1999 г.) в различных торговых точках Москвы его можно купить по ценам от 3 руб. 80 коп. до 4 руб. 50 коп. (примерно). Наша исследовательская группа (Лаборатория эконометрических исследований) в течение нескольких лет собирала информацию о ценах на 35 продовольственных товаров в 11 "точках" Москвы и Подмосковья (итоги подведены в статье [14]), и максимальная из отмеченных цен превышала минимальную, как правило, на 30-50%. Можно говорить о цене товара при конкретном акте купли-продажи, при покупке в конкретном магазине, но нельзя говорить о конкретном числовом значении рыночной цены товара. Так, говорить о "рыночной цене" конкретной квартиры (не в новостройке) бессмысленно. С другой стороны, полностью отказываться от этого укоренившегося в литературе понятия нецелесообразно. Мы предлагаем принять, что рыночная цена - объект нечисловой природы, и описывать ее для стандартного батона белого хлеба, например, в виде интервала [3-80; 4-50] руб.
	Анализируя реальные данные, убеждаемся, что интервальный характер имеют рыночные цены на двигатели, черный и цветной металл, сплавы, электроэнергию, нефть, бензин, автоприборы и автомобили, трактора, различные виды приводной техники и другие промышленные товары, точно так же как и на разнообразные услуги. Цены зависят от конкретного договора между поставщиком и потребителем. Часто появляется дополнительный мешающий фактор - инфляция. Так, с сентября 1995 г. по январь 1996 г. доллар США подешевел в нашей стране почти в 2 раза (если сравнивать по покупательной способности в области продовольственных товаров).
	Нечисловой характер имеют не только цены. При обсуждении понятия "прибыль предприятия" начнем с очевидной бессмысленности выражения "максимизация прибыли" без указания интервала времени, за который прибыль максимизируется. Только задав интервал времени, можно принять оптимальные решения и рассчитать ожидаемую прибыль. Ясно, что оптимальные решения зависят от интервала планирования. Известная в экономической теории проблема "горизонта планирования" состоит в том, что оптимальное поведение зависит от того, на какое время вперед планируют, а выбор этого горизонта не имеет рационального обоснования. В нашей монографии [8] рассмотрен ряд примеров указанной зависимости и предложено использовать асимптотически оптимальные планы. Дополнительная сложность состоит в том, что будущая прибыль не может быть определена точно, а потому сама должна описываться как объект нечисловой природы. Итак, задача "максимизации прибыли" может приобрести точный смысл, например, лишь как максимизация нечеткой прибыли на нечетком интервале времени. Оптимизация в случае нечетких переменных рассматривалась в литературе [15,16], однако пока не получила широкого практического внедрения. Оно и понятно - внедрять можно лишь то, что знаешь. Следовательно, надо рассказывать студентам о теории нечетких множеств и ее использовании при решении задач экономики и организации производства.
	Для приведения экономических величин к одному моменту времени (к сопоставимым ценам) используются индексы инфляции, в другой терминологии, дефляторы. Рассчитывают их с помощью тех или иных потребительских корзин. При этом на нечеткость "рыночных цен" товаров накладывается произвол в выборе состава потребительской корзины и объемов потребления. Теоретический анализ этой ситуации привел нобелевского лауреата по экономике В.В.Леонтьева к выводу о принципиальной невозможности сравнения экономических величин, относящихся к различным моментам времени [17]. Мы видим выход в задании индекса инфляции в интервальном виде. Так, расчеты по собранным нами данным о ценах показывают, что для Москвы индекс инфляции  с марта 1991 г. по апрель 1999 г. описывается интервалом [21,5; 24,0] (при использовании деноминированных рублей).
	Еще более размыты обобщенные макроэкономические показатели типа "валового внутреннего продукта" (ВВП), особенно при их сравнении по годам и странам. По мнению известного экономиста О.Моргенштерна [18] подобные макроэкономические показатели могут быть определены лишь с точностью 5-10%. Однако, если пользоваться одной и той же методикой расчета, то можно заметить и изменения в 0,1 %. Проблема в том, что сама методика может вызывать сомнения. Например, по применяемой Госкомстатом РФ "системе национальных счетов" банковские услуги составляют 13% ВВП. Эта абсурдно высокая величина объясняется тем, что, например,  выдача кредита в 1 миллион рублей рассматривается как услуга стоимостью в 1 миллион рублей, эквивалентная выпечке и продаже 250 000 батонов хлеба. При всей высокой оценке тяжкого труда банковских боссов, клерков и охранников трудозатраты крестьян, мукомолов, пекарей, транспортников и продавцов  250 000 батонов хлеба несоизмеримо выше. 
	Нечеткость в неявной форме присутствует и в натуральных показателях. Пусть, например, выпущена партия из 1000 автомашин определенной марки. Нечеткость, связанная с этой партией, состоит в неопределенности реального срока службы автомашин, полезных и вредных эффектов от их эксплуатации. Для снятия этих неопределенностей необходимо, в частности, экономически оценить потери от гибели людей в автокатастрофах. Сколько стоит жизнь человека? При всем уважении к оценкам страховых компаний сама постановка этого вопроса вызывает неловкость. Из-за этого, в частности, не получили распространения методы статистического контроля качества, основанные на учете народнохозяйственного ущерба от пропуска дефектных изделий при контроле.
	Более подробно рассмотрим проблемы управления инвестиционными процессами. Одна из них - проблема сравнения инвестиционных проектов. С чисто финансовой точки зрения такой проект - это поток платежей, т.е. последовательность моментов времени, каждому из которых соответствует некоторая величина платежей (для определенности учитываем их со знаком "минус") или поступлений (учитываем со знаком "плюс"). Как оценивать такие потоки в целом,  как их сравнивать? Из многих характеристик потоков платежей рассмотрим здесь две - чистую приведенную величину, или чистую текущую стоимость NPV (Net Present Value), и внутреннюю норму доходности, или прибыли IRR (Internal Rate of Return). 
	При определении NPV, как известно, для приведения величин платежей и поступлений к одному моменту времени используется постоянный дисконт-фактор. В реальности дисконт-фактор не является заранее известной функцией от времени и зависит от динамики банковской процентной ставки и индекса инфляции. Кроме того, размеры и моменты осуществления платежей и поступлений также могут быть известны лишь с некоторой точностью. Следовательно, как функция от неопределенных (размытых) величин NPV сама является неопределенной. Лишь частично эту неопределенность можно снять, рассматривая NPV как функцию одной независимой переменной - дисконт-фактора. Если все перечисленные неопределенности можно описать интервалами (т.е. задать границы - "от" и "до"), то NPV также описывается интервалом, границы которого можно рассчитать с помощью подходов, развитых в статистике интервальных данных (см. следующий раздел). В результате в ряде случаев становится невозможным сравнение инвестиционных проектов по NPV - сравнение числе можно провести всегда, а сравнение интервалов - лишь тогда, когда они не пересекаются. Если же пересекаются - приходится заявить об эквивалентности инвестиционных проектов по показателю NPV.
 	Внутренняя норма доходности IRR - это значение постоянного дисконт-фактора, при котором NPV = 0. К сожалению, как хорошо известно, при "неудачном" распределении поступлений и платежей уравнение NPV = 0 может иметь не одно, а много решений. В литературе указывают и иные причины, по которым IRR нельзя использовать для сравнения потоков платежей. Кроме того, в случае IRR имеются те же источники неопределенности, что и для NPV - размытость дисконт-фактора, моментов и величин поступлений и платежей. Эта размытость приводит к необходимости рассматривать IRR как интервал, а при непустоте пересечения интервалов, соответствующих двум инвестиционным проектам, сравнение этих проектов сводится к утверждению об их равноценности.
	Итак, рассмотренные характеристики инвестиционных проектов NPV и IRR, как и любые иные, имеют неустранимые неопределенности. Игнорировать это объективное обстоятельство, завышать точность экономических расчетов - значит обманываться самому либо вводить в заблуждение заказчиков расчетов. 
	Как же поступать при анализе инвестиционных проектов? Рассмотрим два корректных подхода к такому анализу. Во-первых, можно постараться явным образом учесть имеющиеся неопределенности (в том числе перечисленные выше) и применить те или иные способы анализа неопределенных величин, в частности, разработанные в теории нечеткости и в статистике объектов нечисловой природы [8,15]. Другими словами, требуется более тщательный экономико-математический анализ ситуации, предполагающий построение соответствующих эконометрических (в широком смысле) моделей, разработку и/или применение необходимого программного обеспечения. А для этого нужны обученные кадры, время и деньги. 
	Во-вторых, вместо расчетов можно обратиться к интуиции специалистов, применив современные методы экспертных оценок [8,19], в частности, основанные на сборе оценок экспертами нечисловых экономических величин и их анализе методами статистики объектов нечисловой природы [19]. Для практического использования представляется перспективным оценивание в виде интервалов (частный случай применения теории нечетких множеств) и соответственно их анализ методами статистики интервальных данных. Применение комбинированных подходов, предполагающих использование систем, интегрирующих как экономико-математические модели, так и методы экспертных оценок - пока дело будущего. 

6. СТАТИСТИКА ИНТЕРВАЛЬНЫХ ДАННЫХ - НАУЧНОЕ НАПРАВЛЕНИЕ НА СТЫКЕ МЕТРОЛОГИИ И СТАТИСТИКИ

	В статистике интервальных данных (СИД) элементами выборки являются не числа, а интервалы, в частности, порожденные наложением ошибок измерения на значения случайных величин. СИД входит в теорию устойчивости (робастности) статистических процедур и примыкает к интервальной математике. В СИД изучены проблемы регрессионного анализа, планирования эксперимента, сравнения альтернатив и принятия решений в условиях интервальной неопределенности и др. Основная идея СИД является общеинженерной - каждая величина должна приводиться вместе с потребностью ее определения. К сожалению, эта идея еще не стала общеэкономической.
Рассмотрим развитие в течение последних 15 лет асимптотических методов статистического анализа интервальных данных при больших объемах выборок и малых погрешностях измерений. В отличие от классической математической статистики, сначала устремляется к бесконечности объем выборки и только потом - уменьшаются до нуля погрешности. Разработана общая схема исследования, включающая расчет двух основных характеристик - нотны (максимально возможного отклонения статистики, вызванного интервальностью исходных данных) и   рационального объема выборки (превышение которого не дает существенного повышения точности оценивания и статистических выводов, связанных с проверкой гипотез). Она применена к оцениванию математического ожидания и дисперсии, медианы и коэффициента вариации, параметров гамма-распределения в ГОСТ 11.011-83 и характеристик аддитивных статистик, для проверки гипотез о параметрах нормального распределения, в т.ч. с помощью критерия Стьюдента, а также гипотезы однородности двух выборок по критерию Смирнова, и т.д.. Разработаны подходы к учету интервальной неопределенности в основных постановках регрессионного, дискриминантного и кластерного анализов.
	Многие утверждения СИД отличаются от аналогов из классической математической статистики. В частности, не существует состоятельных оценок: средний квадрат ошибки оценки, как правило, асимптотически равен сумме дисперсии этой оценки, рассчитанной согласно классической теории, и квадрата нотны. Метод моментов иногда оказывается точнее метода максимального правдоподобия (см. ГОСТ 11.011-83). Нецелесообразно с целью повышения точности  выводов увеличивать объем выборки сверх некоторого предела. В СИД классические доверительные интервалы должны быть расширены вправо и влево на величину нотны, и длина их не стремится к 0 при росте объема выборки. 
	СИД позволяет снять некоторые противоречия между метрологией и классической математической статистикой. Например, вторая из названных дисциплин утверждает, что путем увеличения числа измерений можно сколь угодно точно оценить параметр, а первая вполне справедливо оспаривает это утверждение. Результаты СИД уточняют интуитивные представления метрологов (которые сосредотачивались, впрочем, вокруг весьма частного с точки зрения эконометрики вопроса - оценивания математического ожидания) и развенчивают гордыню математической статистики.

7. ЭКОНОМЕТРИЧЕСКИЕ МОДЕЛИ

	Статистические модели экономических явлений и процессов определяются спецификой той или иной области экономических исследований.  Так, в экономике качества модели, на которых основаны статистические методы сертификации и управления качеством - статистический контроль, контрольные карты, планирование эксперимента, оценка и контроль надежности и другие - используют как технические, так и экономические характеристики, а потому относятся к эконометрике, равно как и многие модели теории массового обслуживания (теории очередей). Экономический эффект только от использования статистического контроля в промышленности США оценивается как 0,8% валового национального продукта (20 миллиардов долларов в год), что существенно больше, чем от любого иного экономико-математического или эконометрического метода.
 	Научно-технический журнал "Заводская лаборатория (диагностика материалов)"  посвящен аналитической химии, физическим, математическим и механическим методам исследования, а также сертификации материалов. Журнал создан в 1932 г. и адресован специалистам черной и цветной металлургии, химической промышленности и др. Кроме сотрудников центральных заводских лабораторий, служб качества, надежности и других заводских подразделений, он ориентирован в основном на работников прикладных научно-исследовательских организаций. Сейчас журнал базируется в Институте металлургии им.А.А.Байкова. С 60-х годов в нем действует секция редколлегии "Математические методы исследования", отвечающая за публикацию статей по статистическим методам в промышленности, в частности, в метрологии, диагностике материалов, стандартизации, управлении качеством и сертификации. Технические и экономические вопросы обычно рассматриваются в неразрывном единстве. С рассматриваемой тематикой должен быть знаком каждый специалист по экономике и организации производства.
	Ввиду важности статистических методов в стандартизации и управления качеством в СССР с начала 70-х годов разрабатывались государственные стандарты по статистическим методам в рассматриваемой области. По мнению ряда специалистов, из-за неграмотности разработчиков государственные стандарты содержали многочисленные ошибки. Для анализа ситуации в 1985 г. была организована Рабочая группа по упорядочению системы стандартов по прикладной статистике и другим статистическим методам. В ней участвовали 66 научных работников и специалистов из различных отраслей народного хозяйства и вузов, в том числе более 20 докторов наук. Оказалось, что существенная часть стандартов по статистическим методам действительно содержала грубые ошибки. Основная часть ошибочных стандартов была отменена, некоторые действуют до сих пор. Затем с целью исправления положения был организован Всесоюзный центр по статистическим методам и информатике, который разработал около 30 компьютерных систем по современным статистическим методам управления качеством. Наибольшее распространение получила система НАДИС (НАДежность и ИСпытания), созданная под руководством проф. О.И.Тескина (МГТУ им. Н.Э.Баумана). Итоги описанного направления работ подведены в [11].
	Работы по эконометрическим методам статистического контроля постоянно публикуются в "Заводской лаборатории". Приведем два новых теоретических результата. На основе подходов статистики объектов нечисловой природы предложен новый метод проверки независимости двух альтернативных признаков. Проверка независимости проводится по совокупности малых выборок (соответствующие выборкам распределения различаются), т.е. в асимптотике А.Н.Колмогорова, когда число неизвестных параметров распределения растет пропорционально объему данных. Метод нацелен на применение в задачах статистического контроля качества продукции. 
	На принципиальное изменение технико-экономической политики при контроле качества нацелен метод сравнения по экономическим показателям различных схем организации контроля и технического обслуживания. Чем выше достигнутый уровень качества, тем больше необходимый объем контроля - таков парадокс классической теории статистического контроля. Возможный выход состоит в переходе к расширению возможностей менеджера при выборе технической политики на основе учета экономических рисков. "Перекладывание" контроля на потребителя может быть экономически выгодно, если производитель организовал защиту от риска методом пополнения партий (путем включение запасных изделий) или путем развития технического обслуживания, позволяющего быстро заменять дефектное изделие.
	Важный раздел эконометрики - теория и практика экспертных оценок. Экспертные оценки используют для решения ряда экономических задач, например, выбора оптимального направления инвестиций, или наилучшего образца определенного вида продукции для организации массового  выпуска, или при прогнозировании развития экономической ситуации, или при распределении финансирования...  Следовательно, используемые в теории экспертных оценок модели [19] являются эконометрическими.
	Менее полезными практически (с точки зрения достигаемого экономического эффекта), но более известными в теоретических и учебных публикациях  являются различные эконометрические модели, предназначенные для прогнозирования макроэкономических  показателей. Это обычно модели весьма частного вида, имеющие целью прогнозирование многомерного временного ряда. Они представляют собой систему линейных зависимостей между прошлыми и настоящими значениями переменных. В таких задачах оценивают как структуру модели, т.е. вид зависимости  между значениями известных координат вектора в прежние моменты времени и их значениями в прогнозируемый момент (т.е. проводят идентификацию модели), так и коэффициенты, входящие в эту зависимость. Структура такой модели - объект нечисловой природы, что и объясняет сложность соответствующей теории.
	Каждой области экономических исследований, связанной с анализом эмпирических данных, как правило, соответствуют свои эконометрические модели. Например, для моделирования процессов налогообложения с целью оценки результатов применения управляющих воздействий (например, изменения ставок налогов) на процессы налогообложения должен быть разработан комплекс соответствующих эконометрических моделей. Кроме системы уравнений, описывающей динамику системы налогообложения под влиянием общей экономической ситуации, управляющих воздействий и случайных отклонений, необходим блок экспертных оценок. Полезен блок статистического контроля, включающий как методы выборочного контроля правильности уплаты налогов (налогового аудита), так и блок выявления резких отклонений параметров, описывающих работу налоговых служб. Подходам к проблеме математического моделирования процессов налогообложения посвящена монография [20], содержащая также информацию о современных статистических (эконометрических) методах и экономико-математических моделях, в том числе имитационных. 
	С помощью эконометрических методов следует оценивать различные величины и зависимости, используемые при построении имитационных моделей процессов налогообложения, в частности, функции распределения предприятий по различным параметрам налоговой базы. При анализе потоков платежей необходимо использовать эконометрические модели инфляционных процессов, поскольку без оценки индекса инфляции невозможно вычислить дисконт-функцию, а потому нельзя установить реальное соотношение авансовых и "итоговых" платежей. Прогнозирование сбора налогов может осуществляться с помощью системы временных рядов - на первом этапе по каждому одномерному параметру отдельно, а затем - с помощью некоторой линейной эконометрической системы уравнений, дающей возможность прогнозировать векторный параметр с учетом связей между координатами и лагов, т.е. влияния значений переменных в определенные прошлые моменты времени. Возможно, более полезными окажутся имитационные модели более общего вида, основанные на интенсивном использовании современной вычислительной техники.

8. ПРИМЕНЕНИЯ ЭКОНОМЕТРИЧЕСКИХ МЕТОДОВ 

 	Эконометрика не так сильно оторвалась от реальных задач, как математическая статистика, специалисты в области которой зачастую ограничиваются доказательством теорем, не утруждая себя вопросом о том, для чего эти теоремы могут быть нужны. Поэтому  эконометрические модели обычно доводятся "до числа", т.е. применяются для обработки конкретных эмпирических данных. Так, эконометрические методы нужны для оценки параметров экономико-математических моделей, например, моделей логистики (в частности, управления запасами [8]). 
	Приведение к сопоставимым ценам - составная часть любого экономического расчета, связанного более чем с одним моментом времени. Как показали наши наблюдения над ценами, использование публикуемых Госкомстатом РФ значений индексов инфляции приводит к систематическим ошибкам. Так, по нашим данным цены за 5 лет (с марта 1991 г. по декабрь 1995 г.) выросли  в среднем  в 9989 раз, а по данным Госкомстата РФ - в 4700 раз. Сказанное определяет актуальность использования независимой информации о ценах и индексах инфляции при анализе экономического положения  российских предприятий и граждан России. 
	В частности, инфляцию необходимо учитывать при анализе результатов финансовой деятельности предприятий и их подразделений за год или более длительные интервалы времени. Постепенно эта простая мысль становится все более близкой специалистам в указанной области, хотя до сих пор в большинстве случаев оперируют номинальными значениями, как будто инфляция полностью отсутствует.
	Эконометрические методы следует использовать как составную часть инструментария практически любого технико-экономического исследования. Оценка точности и стабильности технологических процессов, разработка адекватных методов статистического приемочного контроля и статистического контроля технологических процессов, оптимизация выхода полезного продукта методами планирования экстремального эксперимента в химико-технологических системах, повышение качества и надежности изделий, сертификация продукции, диагностика материалов, изучение предпочтений потребителей в маркетинговых исследованиях, применение современных методов экспертных оценок в задачах принятия решений, в частности, в стратегическом, инновационном, инвестиционном менеджменте, при прогнозировании - везде полезна эконометрика [19]. 
	Бесспорно совершенно, что практически любая область экономики  имеет дело со статистическим анализом эмпирических данных, а потому имеет те или иные эконометрические методы в своем инструментарии. Например, перспективно применение этих методов для анализа научного потенциала России, при изучении рисков инновационных исследований, в задачах контроллинга [21], при проведении маркетинговых опросов, сравнении инвестиционных проектов, эколого-экономических исследований в области химической безопасности биосферы и уничтожения химического оружия, в задачах страхования, в том числе экологического, при разработке стратегии производства и продажи специальной техники и во многих других областях.

9.  СТАТИСТИКА И ЭКОНОМЕТРИКА КАК ОБЛАСТИ 
НАУЧНО-ПРАКТИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ

	Подводя итоги сказанному, обратимся к вопросам подготовки кадров в области эконометрики. В настоящее время в классификаторах специальностей научных работников и специальностей, по которым идет подготовка студентов, эконометрика не представлена вообще, а статистика - двумя отдельными позициями: в специальности "теория вероятностей и математическая статистика" как часть математики и как одна из экономических специальностей. Такие практически важные области, как статистические методы в промышленности (в частности, статистические методы управления (обеспечения, повышения) качеством и надежности, технической диагностики, планирования эксперимента, статистические методы в медицине, в экологии, в химии, в геологии, в менеджменте и т.д., и т.п. не представлены в рассматриваемых классификаторах. Можно сказать, что они существуют нелегально, потому что, например, научным работникам при защите диссертаций приходится "маскироваться" под другие специальности, например, под специальность 05.13.16 "Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях".
	Поскольку кадры по статистическим методам и эконометрике не готовятся, то каждый специалист - самоучка, а общее их число на порядок меньше, чем в Великобритании. США и других странах, в которых наука "статистика" рассматривается в одном ряду с математикой, физикой, химией, биологией и др. 
	Разрыв между математической статистикой и статистикой как экономической дисциплиной обернулся тем, что математики "замкнулись в себе", доказывая теоремы на основе постановок 30-50 гг. и ничего не давая для анализа реальных данных, а экономисты, помещая математико-статистические методы в свои учебники, но не зная математики, дают непрекращающийся поток ошибок в учебниках. 
	Давно стало ясно, что положение в области статистических методов и эконометрики надо менять. В 1989-90 гг. была проведена большая работа по анализу положения дел в области теории и практики статистики в нашей стране. В итоге в октябре 1990 г. создана Всесоюзная статистическая ассоциация (ВСА). Как единое целое ВСА после развала СССР перестала действовать, хотя де-юре продолжает существовать, поскольку решение о роспуске ВСА в соответствии с ее Уставом может принять только съезд ВСА. Такого съезда не было.
	В соответствии с реальной структурой статистики ВСА делилась на 4 секции: 1) практической статистики, 2) статистических методов и их применений, 3) статистики надежности (состояла из работников оборонной промышленности), 4) социально-экономической статистики. Названия секций, зафиксированные в документах ВСА, не вполне соответствуют действительности. Первая секция состояла из работников Госкомстата, большинство членов второй и третьей  занимаются практической деятельностью, в том числе в социально-экономической области (в частности, ведут научные и практические работы по эконометрике), а четвертая состояла из преподавателей статистических дисциплин в рамках экономического образования. Вторая секция (во взаимодействии с третьей) "породила" в 1992 г. Российскую ассоциацию статистических методов, а в 1996 г. - Российскую академию статистических методов. Активность этих структур сводится в основном к поддержке выполнения и публикации научных исследований.
	По ряду исторических причин отечественная статистика расколота на кланы, практически не взаимодействующие друг с другом. Создание ВСА преследовало, в частности, цель налаживания контактов между секциями 1 и 4, с одной стороны, и секциями 2 и 3, с другой. К сожалению, в обстановке общего развала, наступившей в 1992 г., было не до перестройки теории статистики, ее применений и преподавания. 
	Однако необходимость налаживания контактов не отпала. Вряд ли можно считать допустимой ситуацию, когда практически в каждом учебнике по "общей теории статистики" даются абсолютно неверные рекомендации по применению критерия Колмогорова, используемого для проверки согласия эмпирического распределения с теоретическим [4]. Очевидно, необходимы постоянные контакты между специалистами по социально-экономическим применениям статистических методов, с одной стороны,  и математической статистике, с другой стороны. Эконометрика находится именно на этом стыке.

10. ЭКОНОМЕТРИЧЕСКИЕ МЕТОДЫ В ПРАКТИЧЕСКОЙ 
И УЧЕБНОЙ ДЕЯТЕЛЬНОСТИ

	Компьютер на рабочем месте менеджера, экономиста, инженера - уже реальность. Практическое применение эконометрических методов обычно осуществляется с помощью диалоговых систем, соответствующих решаемым экономическим и технико-экономическим задачам. Для конкретных наборов задач таких систем разработано уже много, некоторые перечислены в статье [11]. Создание подобных систем должны быть продолжено. Так, для налоговых служб должны быть подготовлены соответствующие оригинальные системы на базе действующих АИС.
	Однако для того, чтобы грамотно применять компьютерную систему, надо иметь некоторые предварительные знания по эконометрике. В отсутствии  подобных знаний у подавляющего большинства российских экономистов и инженеров, в том числе у менеджеров - директоров предприятий, государственных служащих, в том числе, например, работников налоговых органов, - основная проблема. Лицо, ничего не знающее об эконометрике, не в состоянии понять, что эта научно-практическая дисциплина может помочь решить проблемы его организации, а потому ему и в голову не приходит пригласить бригаду эконометриков к сотрудничеству. 
	Эта проблема наглядно выявилась в ходе работ Всесоюзного центра статистических методов и информатики. Центром был разработан широкий спектр программных систем по эконометрике. Однако число их продаж было явно неадекватно проведенным оценкам емкости рынка, т.е. числу предприятий, которым были бы полезны эти системы. Это объяснялось попросту отсутствием на подавляющем числе предприятий специалистов, знакомых с эконометрическими методами хотя бы на том элементарном уровне, чтобы понять, что им такие системы нужны. Например, нужны для того, чтобы обоснованно анализировать и выбирать планы статистического приемочного контроля, что необходимо делать практически на любом предприятии, независимо от отрасли и форм собственности. В любом договоре на поставку есть раздел "Правила приемки и методы контроля", и подготовлен он обычно отнюдь не на современном уровне. Если же на предприятии были квалифицированные специалисты, то они стремились расширить свой инструментарий за счет программных систем по эконометрике Всесоюзного центра статистических методов и информатики. 
	Поэтому надо широко преподавать эконометрику. Без этого разработанные для нужд организаций и предприятий имитационные компьютерные модели на основе эконометрических методов останутся омертвленным капиталом, не будут грамотно использоваться.
	Но не следует сосредотачиваться лишь на подготовке специалистов по разработке эконометрических методов, умеющих доказывать теоремы и писать программы. Прежде всего нужны пользователи, понимающие, для решения каких задач годится тот или иной эконометрический метод, какая нужна исходная информация, как интерпретировать выдаваемые компьютером результаты. 
	Современное обучение эконометрическим методам возможно лишь при использовании компьютерных систем статистического анализа, включающих, в частности, методы статистики объектов нечисловой природы и другие идеи последних десятилетий. Большой интерес у студентов вызывает использование конкретных эконометрических данных, например, таких: на апрель 1999 г. индекс инфляции составил, по нашим данным, более 20,0 (по сравнению с мартом 1991 г.), следовательно, средняя начисленная зарплата по стране (1200 руб.) в ценах марта 1991 г. равна  60 руб., т.е. за 8 лет уменьшилась в 5 раз. Прежняя минимальная зарплата в 70 руб. (март 1991 г.) при индексации соответствует примерно 1400 руб., т.е. больше нынешней (апрель 1999 г.) средней зарплаты. 
	Эконометрические методы - эффективный инструмент в работе менеджера и инженера, занимающегося конкретными проблемами, и задача высшей школы - дать его в руки выпускников экономических и технических специальностей. Кроме теоретических знаний,  менеджеры и инженеры должны иметь практические инструменты - сделанные на основе современных достижений эконометрической науки компьютерные системы, предназначенные для анализа статистических данных и построения эконометрических моделей конкретных экономических и технико-экономических явлений и процессов.

11. ПРИМЕРНОЕ СОДЕРЖАНИЕ ЭКОНОМЕТРИКИ
 КАК УЧЕБНОГО ПРЕДМЕТА

	С 1997 г. на кафедре "Экономика и организация производства" факультета "Инженерный бизнес и менеджмент" Московского государственного технического университета им.Н.Э.Баумана ведется работу по постановке преподавания эконометрики.. Приведем примерное содержание этого курса. Существенная часть рассмотренных ниже разделов включалась в курсы "Экономика отрасли", "Математические методы прогнозирования", "Прогнозирование и технико-экономическое планирование в отрасли" и др. Комментарии к разделам курса показывают их место в современной эконометрике и необходимость включения соответствующего материала в учебную программу. 
	11.1. Структура современной эконометрики. Структура современной статистики: математическая статистика, прикладная статистика, применения статистических методов в конкретных областях. Определение эконометрики как науки о применении статистических методов для анализа конкретных экономических данных, а эконометрических методов - как статистических методов анализа экономических данных. Разрыв между математической статистикой и Госкомстатом РФ. Всегда ли можно верить данным Госкомстата РФ? Пример с оцениванием вузовской науки по числу научных ставок в вузах.  Особенности экономических данных и их учет при применении методов прикладной статистики. Понятие об эконометрических моделях (на примерах моделей управления качеством, анализа экспертных оценок и др.). Понятие о конкретных применениях эконометрики (на примере динамики цен и индекса инфляции).
	Содержание этого вводного раздела достаточно хорошо соответствует приведенным выше разделам 1-10 настоящей главы. Остановимся только на одном из наиболее интересном для студентов разделе эконометрики - изучении динамики цен с помощью индексов инфляции.
	Проблемы и методы анализа динамики цен. Инфляция как рост цен. Рост цен на отдельные товары и услуги и проблемы построения сводной характеристики. Различные варианты потребительских корзин. Определение и расчет индексов инфляции. Динамика инфляции в России. Теорема умножения (связь между значениями индексов инфляции для трех значений времени) и средний индекс (темп) инфляции как среднее геометрическое. Распространенные ошибки при агрегировании индексов инфляции. Принципиальная разница между малыми и большими значениями индексов инфляции. Связь годового индекса и помесячными и средним за год. Теорема сложения для индекса инфляции (правило объединения индексов инфляции для отдельных товарных групп). 
	Применения индекса инфляции в различных экономических расчетах.  Приведение к сопоставимым ценам. Сравнения средней заработной платы, пенсий, стипендий в различные моменты времени. Реальные результаты индексирования заработной платы и пенсий. Расчет прожиточного минимума, его динамика. Учет индекса инфляции при расчете реального значения процента на вклад в банк, реального процента платы за кредит. Как процент платы за кредит может быть отрицательным? Оценка динамики курса доллара США в России с помощью потребительских паритетов, сравнение с Китаем. Применение индекса инфляции при оценке стоимости основных и оборотных фондов. Опыт прогнозирования индекса инфляции и стоимости потребительской корзины. Применение индекса инфляции при организации производства. Конверсия, индекс инфляции и сохранность технологических цепочек (на примере специальной техники).  Динамика макроэкономических показателей России. Использование индекса инфляции при оценивание экономического положения предприятий, при финансовом анализе результатов их деятельности.
	11.2 Современная прикладная статистика и эконометрические методы. Области современных статистических методов: статистика чисел (случайных величин), статистика векторов (многомерный статистический анализ), статистика функций (случайных процессов и временных рядов), статистика нечисловых данных. Современная прикладная статистика и эконометрика. Пять точек роста эконометрических методов: непараметрическая статистика, устойчивость статистических процедур, размножение выборок,  статистика нечисловых данных, статистика интервальных данных. 
	Объем знаний, которым овладевают студенты в вузе, ограничен. Перед организаторами образования постоянно стоит проблема - что включать в учебную программу, а что не включать. Эта проблема решается проще, если известно будущее место работы студентов, т.е. подготовка идет для нужд конкретного предприятия. К сожалению, для студентов кафедры "Экономика и организация производства" это не так. Представляется очевидным, что студент должен владеть современными методами своей специальности. Следовательно, постоянно должна вестись методическая работа по внедрению современных идей, концепций, подходов, методов, расчетных алгоритмов в учебный процесс (этот раздел методики преподавания называют онтодидактикой). Однако онтодидактические работы предполагают хорошее знакомство с современным уровнем знаний и практического применения, личную работу преподавателя на переднем крае науки и постоянное участие в прикладных исследованиях. Кроме того, приходится постоянно пересматривать само содержание преподавания, модернизировать методическое обеспечение - учебники, учебные пособия, задачники, методические разработки по отдельным темам, лабораторные работы, тематики курсовых дипломных работ.
	Это нелегко. Поэтому  вполне естественно, что наблюдается тенденция к консервации. Она выгодна для преподавателя - однажды разработанный курс и его методическое обеспечение используется (с небольшими вариациями) десятилетиями. Она удобна для студентов - те пользуются учебниками, которые за несколько изданий доведены до возможного совершенства, обеспечены заблаговременно изданными задачниками, лабораторными работами и пр. Такая тенденция к консервации обычно наблюдается у курсов "Статистика" (она же "Общая теория статистики") и "Теория вероятностей и математическая статистика". Все бы хорошо, но только студенты получают знания на уровне 30-50-х годов, т.е. с запозданием на 50-70 лет. Наивно думать, что им будет легко самостоятельно осознать и тем более овладеть тем, что возникло за последние полвека.
	При ориентации на современные методы есть свои опасности. Можно неправильно оценить значимость тех или иных научных направлений, пропустить перспективные или, что еще хуже, посвятить много времени тем, чье время быстро пройдет. Однако предшествующие эконометрике курсы  "Статистика" и "Теория вероятностей и математическая статистика" настолько далеки от современности, что за основу выбора можно взять развитие эконометрических идей в 70-90-х годах ХХ в. И преподавателю, и студенту труднее при ориентации на курсы с современной тематикой, чем на консервативные. Однако труд студента оправдывается при выходе на самостоятельное поприще по окончании вуза. Автор настоящей главы более 20 лет разрабатывал и применял эконометрические методы в различных отраслях народного хозяйства и областях науки и смеет надеяться, что опыт научно-прикладной деятельности позволит разработать и внедрить на кафедре "Экономика и организация производства" факультета "Инженерный бизнес и менеджмент" Московского государственного технического университета им.Н.Э.Баумана современный курс эконометрики.
	Пользуясь тем, что студенты уже изучили курс "Теория вероятностей и математическая статистика", в разделе 11.2 даем представление о современной прикладной статистике согласно статье [22]. Первые три области современных статистических методов: - статистика чисел (случайных величин), статистика векторов (многомерный статистический анализ), статистика функций (случайных процессов и временных рядов) являются достаточно традиционными, хотя в предваряющих эконометрику курсах о них говорится явно недостаточно, а иногда не так и не то. Статистика нечисловых данных как самостоятельная область возникла в 70-е годы (см. о ее начале [8, 10]) и до сих пор продолжает активно развиваться, поэтому она выделена как одна из точек роста эконометрических методов. 
	В соответствии со сказанным выше о необходимости показа студентам современного фронта эконометрических исследований предлагается кратко охарактеризовать основные точки роста, т.е. направления, которые в настоящее время активно развиваются, полезны для практики, но недостаточно представлены в стандартных учебниках. Первой из таких точек указаны непараметрические методы. Хотя они имеют длинную историю, начинающуюся с коэффициентов ранговой корреляции Кендалла и Спирмена начала века и статистик Колмогорова, Смирнова, омега-квадрат тридцатых годов, в преподавании они оттеснены на задний план параметрической статистикой. Почему это произошло? Видимо, тем, что параметрическая статистика, изучающая выборки из семейств распределений, описываемых одним-двумя, максимум тремя числовыми параметрами, имеет дело со сравнительно простым с математической точки зрения объектом. Именно из-за его простоты удалось построить достаточно глубокую, но доступную студентам теорию. Вместе с тем хорошо известно, что распределения реальных данных почти никогда не удается адекватно описать с помощью какого-либо параметрического семейства. В частности, распределения погрешностей измерений, вопреки распространенному заблуждению, почти всегда отличны от нормальных [23]. Таким образом, анализ данных с помощью параметрических методов статистики напоминает поиск ключей под фонарем, где светлее, а не там, где они потеряны. 
	В настоящее время непараметрическими методами можно решать тот же круг задач, что и параметрическими. При этом вместе неоправданных предположений о принадлежности функций распределения тому или иному параметрическому семейству делаются лишь общие предположения о непрерывности функций распределения. Из общих соображений можно ожидать, что такое расширение области применения может привести к снижению эффективности непараметрических эконометрических методов по сравнению с параметрическими. Однако во многих случаях непараметрические методы оказываются не хуже параметрических, особенно при больших объемах выборок. Иногда, тем не менее, параметрические методы представляются конкурентоспособными. Тогда необходимо изучить устойчивость эконометрических выводов по отношению к допустимым отклонениям исходных данных и предпосылок модели. Общая схема изучения устойчивости эконометрических и экономико-математических методов и моделей дана в монографии [8]. Кроме термина "устойчивость", в данном контексте используются термины "робастность" (от robust - крепкий, грубый (англ.)), чувствительность. Можно выделить два этапа исследования - анализ устойчивости известных процедур, затем поиск новых наиболее устойчивых и вместе с тем достаточно точных.  Иногда параметрические и непараметрические методы дают практически одни и те же алгоритмы, особенно при больших объемах выборок. Например, правила доверительного оценивания математического ожидания (при неизвестной дисперсии) в параметрическом случае нормального распределения и в непараметрическом случае произвольного распределения (правило строится на основе центральной предельной теоремы теории вероятностей и теорем о наследовании сходимости [8]) отличаются только тем, что в первом случае используются процентные точки распределения Стьюдента, а во втором - процентные точки стандартного распределения. Как известно, при росте объема выборки первые стремятся ко вторым. Однако иногда изучение устойчивости приводит к неожиданным выводам. Так, анализ проблемы обнаружения резко выделяющихся наблюдений (выбросов) привел к выводу о крайней неустойчивости классических методов: если зафиксировать процентную точку (т.е. правило принятия решений), то велик интервал изменения уровня значимости,  если же, наоборот, исходить из заданного уровня значимости, то весьма велик интервал для токи, задающей правил отбраковки [24]. Следовательно, правила отбраковки не имеют научного обоснования, из следует рассматривать как эвристические.
	Общеинженерным принципом является указание не только точечного значения измеряемой величины, но и погрешности этого измерения. В экономике и менеджменте, к сожалению, не всегда указывают величины возможных погрешностей измерения. Требование изучения устойчивости статистических процедур нацелено на внедрение указанного общеинженерного принципа в область экономики, инженерного бизнеса и менеджмента. Одним из подходов является статистика интервальных данных (СИД), рассмотренная выше. В ней прослеживается, как погрешности исходных данных, влияют на погрешности выводов, а для этого и исходные данные, и выводы приходится описывать с помощью интервалов, а не чисел, как в классической статистике. СИД активно развивается в 1980-90-х гг., но одновременно основные ее идеи вполне доступны студентам, поэтому элементы СИД включены в программу по эконометрике.
	Другой подход к изучению устойчивости статистических (эконометрических)  выводов предполагает интенсивное использование современной вычислительной техники и основан на "размножении выборок". По выборке можно рассчитать одно число - точечную оценку характеристики или параметра, но этого мало - надо иметь доверительный интервал, т.е. нижнюю и верхнюю границы, между которыми с заданной вероятностью находится истинное значение. Параметрическая теория позволяет это сделать, но ее предпосылки неприемлемы. Поэтому вполне естественным является желание "размножить выборку" - вместо одной получить много похожих, по каждой из них рассчитать оценку, а по совокупности оценок построить распределение оценки, указать доверительный интервал. Метод размножения может быть очень простым: из одной выборки объема n можно получить  n выборок объема (n-1), если исключать из исходной выборки последовательно по одному элементу (возвращая ранее исключенные обратно). Есть и много иных методов размножения выборок.
	Одна из четырех основных областей современной эконометрики  - статистика объектов нечисловой природы, или статистика нечисловых данных, - сформировалась как единое целое в 1970-х годах и продолжает интенсивно развиваться. О ней мы будем неоднократно говорить, обсуждая дальнейшие разделы курса. 
	11.3. Выборочные исследования (опросы). 	Польза и необходимость выборочных эконометрических исследований. Анкетное исследование (на примере маркетингового исследования потребителей растворимого кофе). Различные виды формулировок вопросов (открытый, закрытый, полузакрытый вопросы), их достоинства и недостатки. Техника интервью. Экономика опросов. Биномиальная и гипергеометрическая модели выборки, их близость в случае большого объема генеральной совокупности по сравнению с выборкой. Асимптотическое распределение выборочной доли (в случае ответов типа "да"-"нет"). Интервальное оценивание доли и метод проверки статистической гипотезы о равенстве долей (на основе теоремы Муавра-Лапласа и таблиц ВЦИОМ).
	Изучение конкретных эконометрических методов естественно начать с методов выборочных опросов, практическая польза которых очевидна (разбираем маркетинговое исследование, выполненное по заказу конкретной фирмы), а математическая сложность невелика. Естественным образом возникает сюжет о проверке однородности (другими словами. обнаружении различий), который продолжается в следующей теме. 
	11.4. Элементы эконометрики чисел. Определения нормального и логарифмически нормального распределений и их плотностей. Центральная предельная теорема в аддитивном и мультипликативном случае. Методы оценивание параметров логарифмически нормального распределения. Логарифмически нормальное распределение доходов (заработной платы) и "данные" Госкомстата РФ. Непараметрическое оценивание характеристик распределений и доверительных границ для них. Непараметрические методы оценивания плотности. 
	Тема начинается с сопоставления нормального и логарифмически нормального распределений. Первое из иногда допустимо использовать при решении технических задач. В эконометрике его использовать нельзя, поскольку плотность нормального распределения всюду положительна, т.е. вероятность отрицательных значений, а в эконометрике обычно рассматриваются неотрицательны величины. Основная причина популярности нормального распределения в эконометрике - центральная предельная теорема теории вероятностей, в которой речь идет о суммах большого числа независимых случайных величин. Если же вместо сумм имеем дело с произведениями, то вместо нормального распределения  получаем логарифмически нормальное, сосредоточенное на положительной полуоси. Им можно приближать распределения различных экономических величин, например, доходов населения. В Госкомстате РФ настолько верят в законность такого приближения, что вместо эмпирических величин публикуют лишь расчетные значения. 
	При рассмотрении распределения доходов выявляется целесообразность рассмотрения различных видов средних - математического ожидания, медианы, моды. Непараметрическую статистику начинаем с непараметрического точечного и доверительного оценивания таких характеристик распределения, как математическое ожидание, медиана, дисперсия, среднее квадратическое отклонение, коэффициент вариации. Термин "непараметрическое оценивание" означает, что предположения о принадлежности распределения выборки к какому-либо параметрическому семейству отсутствуют, но предполагается существование моментов нужного порядка. С практической точки зрения это всегда выполнено, поскольку реальные распределения всегда сосредоточены на каком-то отрезке (другими словами, финитны).
	Завершается раздел рассмотрением непараметрических ядерных оценок плотности распределения, использование которых на базе современной вычислительной техники позволит существенно сузить область применения гистограмм - классического способа наглядного представления данных, обладающего неустранимыми недостатками - отсутствием обоснования для выбора числа интервалов и потерей информации из-за группирования.    
	11.5. Методы статистической проверки гипотез однородности. Проблема проверки однородности двух выборок (независимых и связанных). Различные формулировки гипотезы однородности двух выборок. Критерий Крамера-Уэлча для проверки равенства математических ожиданий (на основе Центральной предельной теоремы и теоремы о наследовании сходимости).
	Эмпирическая функция распределения и основанные на ней непараметрические одновыборочные статистические критерии А.Н.Колмогорова, Н.В.Смирнова, омега-квадрат (Крамера-Мизеса-Смирнова). Проверка гипотезы согласия с параметрическим семейством распределений и распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. 
	Двухвыборочный критерий Вилкоксона (Манна-Уитни) и его асимптотическая нормальность. Достигаемый уровень значимости. Асимптотическое распределение критерия Вилкоксона при справедливости альтернативной гипотезы и его асимптотическая мощность. Какие выводы можно сделать на основе критерия Вилкоксона? Альтернатива сдвига. Двухвыборочные критерии Смирнова и типа омега-квадрат (Лемана-Розенблатта). Задача обнаружения различия в связанных выборках (письмо главного инженера Рошальского химического комбината). Критерий знаков. Проверка равенства 0 математического ожидания. Одновыборочный критерий Вилкоксона. Проверка симметрии функции распределения относительно 0 с помощью критерия типа омега-квадрат. 
	Эта тема - одна из примыкающих к классической тематике математической статистики. Однако различия видны с самого начала. Для проверки равенства математических ожиданий двух выборок используем критерий Крамера-Уэлча. Любопытно, что ни в одном пособии по математической статистики не найти доказательства асимптотической нормальности этого критерия. Для доказательства (которое в курсе опущено) приходится ссылаться на теорему о наследовании сходимости из монографии [8]. Необходимо обратить внимание на отличие критерия Крамера-Уэлча от критерия Стьюдента, который любят рассматривать в курсах математической статистики. Критерий Стьюдента опирается на две предпосылки - нормальность распределения обеих выборок и равенства дисперсий у них. Ни одна из предпосылок обычно не выполняется, особенно для экономических данных. 
	Проверку согласия с параметрическим семейством с помощью критериев Колмогорова и омега-квадрат любят включать в учебники по "Общей теории статистики", причем обычно делают это с ошибками, о чем подробно написано в статье [4]. Поэтому уклониться от разбора этого вопроса нельзя. Много недоразумений связано и с двухвыборочным критерием Вилкоксона, самым популярным в переводной литературе (разбору неточных утверждений, связанных со свойствами этого критерия, посвящена статья [25]). 
	Необходимость решения вопроса об однородности в связанных выборках естественно начать с практической задачи, например, с письма главного инженера Рошальского химического комбината, в котором тот просит установить, есть ли различия в показаниях двух вискозиметров, используемых при производстве мастики. От решения этого вопроса зависит, включать ли в соответствующий государственный стандарт указание на средство измерения вязкости или в этом нет необходимости. 
	11.6. Понятие о регрессионном анализе. Метод наименьших квадратов для линейной прогностической функции. Вид расчетной таблицы. Оценивание параметров. Критерий правильности расчетов. Точечный и интервальный прогноз. Изменение ширины доверительного интервала при увеличении горизонта прогнозирования. Метод наименьших квадратов в случае линейной функции двух переменных. Вид расчетной таблицы. Оценивание параметров. Критерий правильности расчетов. Более общие варианты метода наименьших квадратов. Модель, линейная по параметрам. Преобразования переменных. Оценивание многочлена. Оценка остаточной дисперсии - показатель качества модели.  Непараметрическая регрессия. 
	Регрессионный анализ - одна из наиболее разработанных частей эконометрики. Имеются толстые монографии, посвященные отдельным направлениям регрессионного анализа (см., например, [26]). На основе регрессионного анализа построена теория планирования эксперимента, дающая большой экономический эффект (см., например, [27]). Методы восстановления зависимостей на основе наименьших квадратов и наименьших модулей, модели линейной и нелинейной (по параметрам) регрессии, оценивание необходимой степени полинома, различные варианты непараметрической регрессии, дисперсионный анализ, многочисленные модели  планирования эксперимента, в том числе экстремального - весь этот перечень тем заслуживает того, чтобы студенты их изучали. Для этого, очевидно, необходимо расширение временных рамок преподавания эконометрики, переход от одного к системе курсов, как это сделано, например, в Высшей школе экономики - "Эконометрика-1", "Эконометрика-2", "Эконометрика-3", "Эконометрика-4"...
	Необходимо рассчитывать не только точечные оценки параметров, но и доверительные границы для прогностической функции. Подробно разбираются методы расчета для линейной регрессии с одной независимой переменной. В то же время вероятностной теории уделяется меньше внимания, хотя и дается общее понятие регрессии как условного математического ожидания, описывается ее непараметрическая оценка.
	11.7. Эконометрические методы классификации. Классификация и прогнозирование. Триада: построение классификаций -  анализ классификаций - использование классификаций. Лемма Неймана-Пирсона и непараметрический дискриминантный анализ на основе непараметрических оценок плотности в пространствах произвольной природы. Линейный дискриминантный анализ Р.Фишера. Многообразие параметрических и непараметрические методов классификации (распознавания образов). Группировки и кластер-анализ.  Методы оценки качества алгоритмов классификации. 
	Хотя теория классификации несколько менее популярна среди научно-технических работников, количество посвященных ей работ измеряется десятками тысяч. Активно работавшая в 1980-е годы Комиссия по классификации ВСНТО охватывала около 1000 специалистов. Однако классификация как область эконометрики еще не достигла достаточной внутренней стройности. Слишком много отдельных подходов и методов, не связанных друг с другом. О том же свидетельствует и разнобой в терминологии. Построение классификаций называют также распознаванием образов без учителя, автоматической классификацией, кластерным анализом. Использование классификаций - дискриминантным анализом, диагностикой, распознаванием образов с учителем. Тем не менее представляется целесообразным познакомить студентов с основными идеями в области классификации, с алгоритмами кластер-анализа (прежде всего иерархическими агломеративными алгоритмами "ближнего соседа", средней связи, "дальнего соседа"), параметрическими (линейный дискриминантный анализ Р.Фишера) и непараметрическими (на основе непараметрических оценок плотностей, построенных по обучающим выборкам) алгоритмами использования классификаций. Используется также теория принятия статистических решений (при известной матрице потерь из-за ошибочной классификации). Анализ классификаций (разбиений) рассматривается позже, как одна из задач статистики объектов нечисловой природы. Важное место в теме занимают методы оценки качества алгоритмов классификации, в том числе метод пересчета на модель линейного дискриминантного анализа, позволяющий проверять обоснованность использования линейных прогностических индексов. Тема связана как с курсом "Теория вероятностей и математическая статистика" ( лемма Неймана-Пирсона), так и с курсом "Статистика" (построение группировок).
	Другие многомерные эконометрические методы (многомерное шкалирование, целенаправленное проецирование, метод главных компонент, факторный анализ, канонические корреляции, анализ структуры связей и др.) целесообразно рассмотреть при условии увеличения объема преподавания эконометрики..
	11.8. Современная теория измерений. Шкалы наименований, порядка (ранговая), интервалов, отношений, абсолютная. Проблема адекватности эконометрического вывода. Средние величины, результат сравнения которых инвариантен относительно допустимых преобразований шкалы. Применения к расчету рейтингов.
	Рассматриваются основы репрезентативной теории измерений: определения, примеры, группы допустимых преобразований для основных типов шкал (наименований, порядка, интервалов, отношений, абсолютной). В качестве основного для эконометрики выдвигается требование устойчивости статистических выводов относительно допустимых преобразований шкал. Сравниваются три вида средних (среднее арифметическое, мода, медиана) для зарплаты работников предприятия. Дается определение средних по Коши. Обсуждается "теорема о медиане" - описание средних, результат сравнения которых устойчив в порядковой шкале. Рассматриваются применения "теоремы о медиане" к рейтингам. Вводятся ассоциативные средние по Колмогорову и дается описание средних, результат сравнения которых устойчив в шкалах интервалов и отношений. Рассматриваются иные применения теории измерений к выбору адекватных методов анализа экономических данных.
	11.9. Статистика нечисловых данных. Различные виды нечисловых данных, связи между ними. Люсианы. Нечеткие множества и их связь со случайными. Метрики (показатели различия), эмпирические и теоретические средние, медиана Кемени, асимптотическое поведение решений экстремальных статистических задач, законы больших чисел непараметрические оценки плотности в произвольных пространствах.   
	В 1970-х годах стала очевидной большая роль в эконометрике экономических данных ранее слабо изучавшихся видов - нечисловых данных, или объектов нечисловой природы. В литературе имеется достаточно подробное описание различных пространств  нечисловых данных, а также связей между ними [8,15, 28-30]. К нечисловым данным относятся, как уже говорилось, результаты измерений по качественным шкалам (в шкалах наименований и порядка), бинарные отношения (ранжировки(упорядочения), разбиения (отношения эквивалентности), толерантности), последовательности из 0 и 1, множества, нечеткие множества и др. Основные связи между перечисленными видами нечисловых данных были установлены еще в 1970-е годы [8]. Позже была развита теория люсианов (конечных последовательностей испытаний Бернулли с, вообще говоря, различными вероятностями успеха, дающая вероятностную основу для анализа последовательностей из 0 и 1.
	Рассматриваются основы теории нечеткости. Даются определения нечетких множеств и операций над ними. Разбираются примеры нечетких множеств, в частности, нечеткие ответы экспертов, и  свойства операций над нечеткими множествами.. Анализируется  связь нечетких множеств со случайными. 
	Вводятся метрики (показатели различия) в пространствах произвольной природы - основа методов статистики нечисловых данных. Дан оптимизационный подход к определению эмпирических и теоретических средних в пространствах произвольной природы, проведено сравнение со свойствами среднего арифметического, математического ожидания, теоретической и выборочной медианы. Эмпирическое среднее предлагается рассматривать как агрегирование мнений экспертов. Обсуждается формулировка законов больших чисел в пространствах произвольной природы. 
	В качестве эконометрических данных рассматриваются бинарные отношения (ранжировки, разбиения, толерантности). Разбирается  их связь с матрицами из 0 и 1 и введение расстояния Кемени между бинарными отношениями. Изучается медиана Кемени, ее асимптотика и свойства при малых объемах выборок и различных предположениях о распределении ранжировок. Вводятся изотропные распределения и устанавливается единственность среднего (медианы). Интерпретация законов больших чисел для нечисловых данных может быть дана в терминах теории экспертного опроса. Устанавливается связь метода средних рангов  с коэффициентом ранговой корреляции Спирмена и линейная зависимость расстояния Кемени от коэффициента ранговой корреляции Кендалла. Разбирается метод "идеальной точки" с использованием средних рангов на примере сравнения математических моделей испарения жидкости.
	Вводятся расстояния, теоретические и эмпирические средние в пространстве подмножеств конечного множества. Построение эмпирического среднего (итогового мнения комиссии экспертов) проводится по правилу большинства. Вводятся различные расстояния между нечеткими множествами и применяются для усреднение нечетких ответов экспертов.
 	Полученные результаты применяются для изучения асимптотического поведения решений экстремальных статистических задач. Предлагается использовать непараметрические оценки плотности в пространствах произвольной природы, в частности, для дискретных пространств. Обсуждается применение статистики объектов нечисловой природы при построения новой хронологии и значение полученных выводов для современных социально-экономических проблем.
	11.10. Статистика интервальных данных. Погрешности измерения и интервальные данные. Нотна - максимально возможное отклонение, вызванное интервальностью статистических данных. Рациональный объем выборки. Их расчет для ряда задач оценивания, проверки гипотез, регрессионного, кластерного и дискриминантного анализов.
	Необходимость учета в эконометрических методах погрешностей измерения, как уже обсуждалось выше, приводит к введению в теорию и практику статистического анализа интервальных данных. Вводятся операции над  интервальными числами и дается обоснование правил приближенных вычислений. Сравниваются по точности две формулы для выборочной дисперсии. Обсуждается основная модель интервальной статистики. Вводятся основополагающие понятия нотны - максимально возможного отклонения, вызванного интервальностью статистических данных,  и асимптотической нотны (при малой абсолютной погрешности). Дается алгоритм расчета асимптотической нотны для квадратичных функций второго порядка.  Изучение влияния интервальности дисконт-факторов на величину NPV (чистой приведенной стоимости, net present value) приводит к признанию интервальности самой величину NPV и необходимости использования экспертных оценок при оценке и сравнении инвестиционных проектов. 
	Разбираются основные результаты статистики интервальных данных, в том числе второе основополагающее понятие - рациональный объем выборки. Проводится расчет асимптотической нотны, рационального объема выборки и доверительных интервалов при оценивании математического ожидания и дисперсии, а также расчет основных показателей  статистики интервальных данных для ряда задач оценивания, проверки гипотез, регрессионного, кластерного и дискриминантного анализов. 
	11.11. Проблема устойчивости статистических процедур по отношению к допустимым отклонениям исходных данных и предпосылок модели. Робастные методы статистики. Общая схема устойчивости. Метод складного ножа Кенуя. Бутстреп Эфрона и его критика.. Размножение выборок как эффективный способ интенсивного применения вычислительной техники в эконометрике. 
	Необходимость изучения устойчивости статистических выводов по отношению к допустимым отклонениям исходных данных и предпосылок модели обоснована выше. Обсуждаются различные робастные методы и модели статистики и эконометрики, в том числе модель Тьюки-Хубера засорения экономических данных резко выделяющимися наблюдениями и модель Ю.Н.Благовещенского отклонений, имеющих быть на всей числовой оси. Согласно [8] дается формулировка общей схемы изучения устойчивости и разбираются примеры ее применения.
 	Рассматриваются методы размножения выборок (различные варианты бутстрепа): метод складного ножа Кенуя, бутстреп Эфрона [31] (и его критика). Размножение выборок выдвигается как эффективный способ интенсивного применения вычислительной техники в эконометрике. Рассматриваются различные варианты применения метода размножения выборок в эконометрических исследованиях..
	11.12. Эконометрические методы экспертных исследований. Примеры и основные этапы применения методов экспертных оценок. Формирование экспертной комиссии. Метод "снежного кома". Различные виды экспертных процедур (с взаимодействием или без, одно- и многотуровые и др.). Метод средних рангов и метод медиан. Согласование кластеризованных ранжировок. Применение коэффициентов ранговой корреляции, теории люсианов, медианы Кемени и иных методов статистики нечисловых данных.
	Тема посвящена эконометрическим методам проведения экспертных исследований и анализа оценок экспертов. Обосновывается необходимость проведения экспертных исследований, особенно в ситуациях быстрого изменения, когда нет возможности опираться на длинные временные ряды статистических данных. Основными представлениями о теории и практике экспертного оценивания должен владеть каждый инженер, экономист, менеджер. Примерами процедур экспертных оценок являются методы оценки техники и артистичности фигуристов, успешности команд КВН, целесообразности финансирования научно-технических проектов, анализируемых в Республиканском исследовательском научно-консультативном центре экспертизы (РИНКЦЭ) на основе методических документов РИНКЦЭ. Они используются на соревнованиях, при выборе, распределении финансирования, при экологических экспертизах, в частности, согласно Закону РФ "Об экологических экспертизах". Другие методы экспертных исследований: метод Дельфи, мозговой штурм,  метод средних рангов, метод медиан, метод сценариев. 
	Планирование и организация экспертного исследования как один из видов деятельности менеджера. Сравнение ролей лиц, принимающих решения (ЛПР), и специалистов (экспертов) в процедурах экспертиз и принятия решений. Зоны ответственности Рабочей Группы и Экспертной Комиссии. Основные этапы проведения экспертного исследования как основа деятельности менеджера, организующего экспертное исследование. Экономические вопросы проведения экспертного исследования  - часть знаний менеджера.
	Цели экспертного исследования можно поставить по-разному: сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др. Используется ряд методов формирования состава экспертной комиссии: методы списков (реестров),"снежного кома", самооценки, взаимооценки. Важна проблема априорных предпочтений экспертов. Достоинства и недостатки процедур, используемых при отборе экспертов, заслуживают подробного обсуждения, равно как и. различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм") или без ограничений). 
	Методы анализа экспертных оценок основаны на статистике нечисловых данных, а также на применении непараметрической статистики (коэффициентов ранговой корреляции). Бинарные отношения на конечном множестве часто возникают как способы описания ответы экспертов. Бинарные отношения находятся во взаимно-однозначном соответствии с матрицами из 0 и 1. При анализе мнений экспертов важны такие свойства бинарных отношений, как рефлексивность, симметричность, транзитивность, и соответствующие им подпространства бинарных отношений - подпространства ранжировок (упорядочений), разбиений (отношений эквивалентности), толерантностей. Аксиоматическое введение расстояния Кемени между бинарными отношениями дает возможность применить методы статистики объектов нечисловой природы для анализа ответов экспертов. Применение теории люсианов, вычисление медианы Кемени и использование иных методов статистики нечисловых и интервальных данных - основа работы специалиста по анализу экспертных данных. Согласование кластеризованных ранжировок (ГОГ-метод) рассматриваем на примере сравнения 8 математических моделей испарения жидкости по экспериментальным данным (при создании банка математических моделей с целью оценки последствий аварий при экологическом страховании).
	Обобщенный показатель (полезность) объекта экспертизы строится как функция частных показателей. Разработан ряд методов построения обобщенного показателя. В частности, есть два подхода к определению весовых коэффициентов линейной функции полезности. Один из них - линейная свертка с коэффициентами, которые оценивают эксперты. Критику такого подхода даем на основе анализа реальных предложений по процедуре выбора технологии уничтожения химического оружия. Недостатки экспертных методов непосредственного определения  коэффициентов весомости имеют причиной то, что эксперту свойственно работать в порядковой шкале, а не в количественных шкалах. Рассматривается экспертно-статистический метод и его реализация с помощью метода наименьших квадратов. 
	11.13. Эконометрические методы управления качеством, сертификации и классификации продукции. Сертификация и статистический приемочный контроль по альтернативному признаку. Планы контроля. Оперативная характеристика. Приемочный и браковочный уровни дефектности. Предел среднего выходного уровня дефектности. Применение Центральной предельной теоремы теории вероятностей. Статистический приемочный контроль по количественному признаку. Применение статистики люсианов. Всегда ли нужен выходной контроль? Контрольные карты Шухарта и кумулятивных сумм. 
	Сертификат качества - необходимый атрибут при маркетинге и сбыте товара. В договорах купли-продажи, создания научно-технической продукции и иных договорах между предприятиями практически всегда имеется раздел "Правила приемки и методы контроля". Эти разделы, как и правила сертификации, часто основаны на статистическом приемочном контроле. Под статистическим приемочном контролем понимают выборочный контроль, основанный на эконометрической теории. Его необходимость связана с применением разрушающих методов контроля и с экономической эффективностью,  основанной на сокращении затрат на контроль (в машиностроении они составляют в среднем 10% от стоимости продукции).
	Планы контроля по альтернативному признаку разнообразны. Наиболее простым является одноступенчатый контроль. Основной инструмент анализа и синтеза планов контроля - это оперативная характеристика, т.е. функция, определяющая вероятность приемки партии в зависимости от входного уровня дефектности. С помощью оперативной характеристики определяются приемочный и браковочный уровни дефектности. соответствующие заданным рискам поставщика и потребителя. Расчеты наиболее просты для плана (n,0). 
	Если применяется контроль с разбраковкой, то находят средний выходной уровень дефектности и его предел (ПСВУД), т.е. максимально возможное значение. Нетрудно рассчитать ПСВУД для плана (n,0). Выбор плана контроля на основе ПСВУД целесообразен в ситуации, когда потребитель должен быть защищен от проникновения в поставляемую ему партию продукции доли брака, превышающей заданную.
	.Если поставщик и потребитель по-разному оценивают качества продукции в партии, поступившей от поставщика к потребителю, то возникает арбитражная ситуация. Арбитражная характеристика задает вероятность возникновения арбитражной ситуации. Для уменьшения числа споров предложен принцип распределения приоритетов. Расчет планов контроля поставщика и потребителя на основе принципа распределения приоритетов отличается тем, что приемлемый уровень качества выступает для поставщика в качестве браковочного, а для потребителя - в качестве приемочного.
	При достаточно большом объеме выборки (несколько десятков единиц продукции) расчет приемочного и браковочного уровней дефектности для одноступенчатого плана с помощью теоремы Муавра-Лапласа теории вероятностей. Выбор одноступенчатого плана контроля по заданным приемочным и браковочным уровням дефектности также может быть проведен на основе асимптотических соотношений, вытекающих из теоремы Муавра-Лапласа.
	Ограниченность возможности использования экономических показателей при статистическом контроле основана на том, что последствия отказов изделий типа гибели людей нельзя по этическим соображениям описывать в экономических терминах. Поэтому математические модели типа модели Хальда, учитывающие все виды затрат - затраты на контроль, убытки от излишнего забракования и потери от пропуска брака, - остаются теоретическими.
	Основной парадокс теории статистического контроля состоит в том]6 что чем лучше качество и меньше дефектность, тем больший объем контроля требуется. Поэтому естественно поставить вопрос: всегда ли нужен выходной контроль? Сравнение экономической эффективности сплошного контроля и увеличения объема партии; сплошного контроля и замены дефектных единиц продукции в системе гарантийного обслуживания приводит к выводу о целесообразности во многих случаях отказаться от выходного контроля.
	Обычно выделяют следующие виды статистических методов управления  качеством (обеспечения, повышения качества): статистический анализ точности и стабильности технологических процессов (методами прикладной статистики), статистический приемочный контроль по альтернативному и количественному признаку., статистическое регулирование технологических процессов (контрольные карты Шухарта и кумулятивных сумм), планирование экспериментов (в том числе экстремальное, с целью добиться максимального выхода полезного продукта), надежность и испытания. При контроле по нескольким альтернативным признакам полезно применение статистики люсианов - одного из разделов статистики объектов нечисловой природы. Используют наглядные диаграммы Парето и  диаграммы причин и результатов (известные также как диаграммы типа "рыбий скелет", или диаграммы Исикава).
	Проблемы управления качеством рассматриваются не только на уровне предприятия, но и на отраслевом, государственном и межгосударственном уровнях. Можно указать на проблемы сертификации производства (отдельной партии продукции, конкретного технологического процесса, всего производства в целом) согласно международным стандартам серии ИСО 9000. На всех одиннадцати этапах жизненного цикла продукции (по международному стандарту ИСО 9004-87). необходимо использование эконометрических методов. В настоящее время наблюдается переход от систем контроля качества, основанных на допусках (системы Тейлора) к системам контроля качества, основанных на функциях потерь (системы Тагути). 
	Организационные вопросы управления качеством делятся на вопросы, решаемые государством (стандартизация, аттестация, сертификация), и вопросы, решаемые общественностью (кружки качества, защита прав потребителей). Развиваются комплексные системы управления качеством продукции, используется серия международных стандартов ИСО серии 9000 и лозунг тотального (всеобщего) управление качеством. Статистические методы управления качеством могут использоваться также при решении экологических задач мониторинга, контроля, управления, других экологических проблем на предприятиях и в регионах, при аудите (контроле массива документов), мониторинге социально-экономического положения и в других нетрадиционных областях.
	11.14. Анализ и прогноз временных рядов. Методы выделения трендов. Спектральный анализ. Оценивание периода. Модели авторегрессии. Системы эконометрических уравнений. 
	Рассматриваются методы восстановления временных зависимостей на основе наименьших квадратов и наименьших модулей. Среди них важное место занимают модели линейной (по параметрам) регрессии. Большое значение приобретает задача оценивание необходимой степени полинома. Полезны модели авторегрессии, в том числе простейшая эмпирическая модель экспоненциального сглаживания. Оценка длины периода может быть сделана на основе методов статистики объектов нечисловой природы путем минимизации в функциональном пространстве. Выделение циклов во временных рядах имеет давнюю историю.. Рассматриваются типичные системы эконометрических моделей и примеры их практического применения [32].  
	11.15. Эконометрика прогнозирования и риска. Статистические и экспертные прогнозы. Неопределенности и риски, их моделирование в эконометрике. Диверсификация и страхование. Принятие решений в условиях неопределенности. Необходимость применения экспертных оценок при оценке и сравнении инвестиционных проектов.
	Среди пяти основных функцией менеджмента первая - прогнозирование и планирование. Необходимость для менеджера владеть различными методиками прогнозирования не вызывает сомнения. Из различных видов прогнозов выделим статистические и экспертные, качественные и количественные. К частным видам прогнозирования относятся прогнозы невозможности, самоосуществляющиеся прогнозы. Прогнозирование является основой планирования.
	Вопрос о целях предприятия непрост. Неопределенность выражения "максимизация прибыли" без указания интервала времени показывает это. Полезно прогнозирование экономической (и не только!) ситуации методом сценариев. Выделены этапы процесса планирования работы отрасли и предприятия, практически на всех нужны те или иные прогнозы.. Часто используется иерархия:  миссия и ценности - стратегические цели - задачи - конкретные задания, что соответствует этапам планирования, основанного на прогнозировании: разработка стратегии, бизнес планирование и оперативное планирование.
	Неопределенности и риски сопровождают менеджера постоянно. Различные виды рисков в работе предприятия перечислить трудно, но необходимо. Разработаны методы декомпозиции риска, в частности, используются деревья причин и результатов (диаграммы типа "рыбий скелет" - см. выше).
	Разработаны различные методы описания неопределенностей, прежде всего вероятностно-статистические (наиболее распространенные), основанные на теории нечетких множеств и на статистике интервальных данных. Вероятностно-статистические методы описания риска широко используются, тесно связаны с теорией надежности, с вероятностным анализом безопасности (в атомной энергетике). Выделяют риск события (когда риск состоит в осуществлении нежелательного события) и риск ущерба (количественный). Есть ряд вариантов количественной оценки риска: по среднему ущербу (математическому ожиданию), по медиане ущерба, по квантилю, близкому к 1, по линейной комбинации среднего ущерба и среднего квадратического отклонения, по функции потерь и даже по дисперсии. Плата за риск может быть выявлена при наблюдении за поведением людей, которые обычно стремятся уменьшить риск, например, путем страхования. Плату за риск можно оценить, вычитая среднюю цену акций и цены гарантированных государством облигаций (в США). Один из приемов уменьшения риска - диверсификация деятельности, в том числе диверсификация при управлении пакетом ценных бумаг в условиях риска. Дается понятие о вероятностных моделях страхования, в том числе экологического.
	Имеются различные подходы к принятию решений в условиях неопределенности: подход пессимиста, основанный на максимизации выигрыша в наихудшей ситуации (это - подход теории антагонистических игр), подход оптимиста (максимизация выигрыша в наилучших условиях), подход на основе среднего выигрыша (возможно, дополненный оценкой доверительного интервала), подход, основанный на минимизации упущенной выгоды, и др. При несовпадении рекомендаций, даваемых различными подходами, необходимо применение оценок экспертов. В частности, имеются различные подходы к оценке эффективности и выбору инвестиционных проектов. С чисто финансовой точки зрения сравнение инвестиционных проектов сводится к сравнению потоков платежей. Очевидна необходимость изучения устойчивости (чувствительности) выводов по отношению к отклонениям коэффициентов дисконтирования и величин платежей. Столь же очевидна необходимость использования метода экспертных оценок в случае получения противоречивых рекомендаций после проведения анализа чувствительности, например, когда интервалы для используемых характеристик потоков платежей перекрываются... 

12. ЗАКЛЮЧЕНИЕ

	Подведем итоги. Продемонстрирована необходимость обучения будущих менеджеров, экономистов, инженеров эконометрическим методам. Рассмотрено место курса эконометрики в системе высшего технического образования: опираясь на курсы "Теория вероятностей и математическая статистика" и "Статистика", он призван довести знания студентов до уровня современности. Указаны связи курса эконометрики со многими иными учебными предметами - менеджментом, маркетингом, экологией, стандартизацией, метрологией и управлением качеством, инвестиционной, инновационной, контрольной и контроллинговой деятельностью, оценкой финансового состояния предприятия, прогнозированием и технико-экономическим планированием, экономико-математическим моделированием производственных систем и др.
	Разработано содержание основного курса эконометрики, который реализован в нескольких конкретных вариантах. Есть перспективы для его развертывания при увеличении количества часов. о чем подробнее сказано выше. Особенно важным представляется развертывание наиболее современных разделов эконометрики - статистики нечисловых и интервальных данных. 
	Ориентация курса эконометрики на последние научные достижения имеет свои отрицательные стороны, в частности, отсутствует методическое обеспечение. Первым шагом здесь может быть издание методических материалов по расчетным (лабораторным) работам. Один тип материалов должен включать примеры решения задач и варианты в количестве, обеспечивающем индивидуальную работу студентов. Другой тип, предназначенный для преподавателя - ответы по всем вариантам, что предполагает предварительный просчет по всем этим вариантам, но зато обеспечивает автоматическую проверку студенческих работ. В дальнейшем целесообразен перевод выполнения лабораторных работ на компьютерную основу. Видимо, для этого понадобится разработка специального программного продукта, поскольку распространенные диалоговые статистические системы Statistica, SPSS, Statgraphics и др. не содержат ряда современных методов эконометрики.
	В настоящее время по эконометрике отсутствуют не только учебники и учебные пособия, но и фундаментальные монографии. Это проявляется, например, в большом количестве ссылок на журнальные статьи в списке литературы к настоящей главе.  Очевидно, необходимо издание фундаментальной монографии по эконометрике, обобщающей кратко описанные выше конкретные идеи, подходы и результаты. При этом окажутся полезными научные результаты, полученные в ходе выполнения группой исследователей - сотрудников и аспирантов кафедры "Экономика и организация производства" - госбюджетной научно-исследовательской работы "Разработка новых эконометрических методов управления промышленным предприятием". Многие разделы этой фундаментальной монографии могут быть составлены на доступном студентам факультета "Инженерный бизнес и менеджмент" уровне, а потому использоваться в качестве временной замены учебника по эконометрике.
	Следующий шаг - подготовка учебника либо учебного пособия, непосредственно адресованного студентам, а затем и задачника, обеспечивающего проведение практических занятий. 
	Выполнение описанной выше программы по внедрению эконометрики как учебного предмета позволит перейти к тиражированию курса, как внутри МГТУ им.Н.Э.Баумана, так и в других технических университетах и вузах, имеющих экономические факультеты. Среди них МГТУ им.Н.Э.Баумана имеет в настоящее время приоритет в области преподавания эконометрики. Реализовать преимущества этого приоритета - наша задача.

ЦИТИРОВАННАЯ ЛИТЕРАТУРА

1. Орлов А.И., Фалько С.Г. Методология преподавания эконометрики на экономических факультетах технических вузов. - Международная научно-методическая конференция "Методология преподавания статистики, эконометрики и экономико-математических дисциплин в экономических вузах". Тезисы докладов (2-6 февраля 1999 г., Москва, МЭСИ). - М.: Моск. гос. ун-т экономики, статистики и информатики, 1999. - С.108-109.
2. Орлов А.И. Что дает прикладная статистика народному хозяйству? // Вестник статистики. 1986, № 8. С.52 - 56.
3. Комаров Д.М., Орлов А.И. Роль методологических исследований в разработке методоориентированных экспертных систем (на примере оптимизационных и статистических методов). - В сб.: Вопросы применения экспертных систем. - Минск: Центросистем, 1988. С.151-160.
4. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория, 1985, т.51, №1, с.60-62. 
5. The teaching of statistics / Studies in mathematical education, vol.7. - Paris, UNESCO, 1991. - 258 pp. 
6. Долан Э.Дж., Линдсей Д.Е.  Рынок: микроэкономическая модель. - СПб: СП"Автокомп", 1992. - 496 с.
7. Орлов А.И. О перестройке статистической науки и ее применений // Вестник статистики, 1990, No.1, с.65 - 71.  
8. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
9. Тутубалин В.Н. Границы применимости (вероятностно-статистические методы и их возможности). - М.: Знание, 1977. -  64 с.
10. Орлов А.И. О развитии прикладной статистики. -  В сб.: Современные проблемы кибернетики (прикладная статистика). М.: Знание, 1981, с.3-14.
11. Орлов А.И.  Сертификация и статистические методы // Заводская лаборатория. 1997. Т.63. № 3. С.55-62.
12. Орлов А.И. О современных проблемах внедрения прикладной статистики и других статистических методов. //Заводская лаборатория. 1992. Т.58. №1. С.67-74.
13. Орлов А.И. Нечисловые экономические величины и управление инвестиционным процессом. - Современный менеджмент в условиях становления рыночной экономики в России. Тезисы докладов Всероссийской научно-практической конференции 28-29 мая 1998 г. - М.: МГТУ им.Н.Э.Баумана, 1998. С.74-76.
14. Жихарев В.Н., Орлов А.И., Цупин В.А. Анализ динамики цен на продовольственные товары в Москве и Московской области.-  Научные труды Рижского института мировой экономики. Вып.2. - Рига: РИМЭ, 1997, с.19-25.
15. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. -64 с.
16. Бурков В.Н., Новиков Д.А. Как управлять проектами. - М.: СИНТЕГ-ГЕО, 1997. - 188 с. 
17. Леонтьев В. Экономические эссе. Теория, исследования, факты и политика: Пер. с англ. - М.: Политиздат, 1990. - 415 с.
18. Моргенштерн О. О точности экономико-статистических наблюдений. - М.: Статистика, 1968. - 324 с.
19. Орлов А.И. Экспертные оценки. // Заводская лаборатория. 1996. Т.62. № 1. С.54-60.
20. Математическое моделирование процессов налогообложения (подходы к проблеме) / Коллективная монография под ред. Н.Ю.Ивановой, А.И.Орлова и др. - М.: ЦЭО Минобразования, 1997. - 232 с. 
21. Карминский А.М., Оленев Н.И., Примак А.Г., Фалько С.Г. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях. - М.: Финансы и статистика, 1998. - 256 с.
22. Орлов А.И. Современная прикладная статистика //  Заводская лаборатория, 1998, т.64, № 3, с.52-60.
23. Орлов А.И. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория, 1991, т.57, № 7, с.64-66.
24. Орлов А.И. Неустойчивость параметрических  методов отбраковки резко выделяющихся наблюдений //  Заводская лаборатория, 1992, т.58, № 7, с.40-42.
25. Орлов А.И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? //  Заводская лаборатория, 1999, т.65, № 1, с.51-55.
26. Себер Дж. Линейный регрессионный анализ. - М.: Мир, 1980. - 456 с. 
27. Математическая теория планирования эксперимента / Под ред. С.М.Ермакова. - М.: Наука, 1983. -  392 с.
28. Орлов А.И. Статистика объектов нечисловой природы  (Обзор) //  Заводская лаборатория. 1990. Т.56. № 3. С.76-83.
29. Орлов А.И. Объекты нечисловой природы //  Заводская лаборатория, 1995, т.61, № 3, с.43-52.
30. Орлов А.И. Вероятностные модели конкретных видов объектов нечисловой природы // Заводская лаборатория, 1995, т.61, № 5, с.43-51.
31. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. - М.: Финансы и статистика, 1988. - 263 с.
32. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. - 500 с.